Conversational Capture: A Trajectory-Level Framework for Evaluating Generative Engine Optimization in Multi-turn Human-Agent Interaction
面向多轮人机交互的轨迹级生成式引擎优化评估框架
🧭 生成式引擎优化 · 多轮轨迹评估
The University of Tokyo · UniConvo Inc. · University of Tsukuba · Hiroshima University · National Institute of Informatics
提出轨迹级多轮评估框架，揭示早期引用带来的会话捕获效应及其对单轮排序的颠覆
📌 工作参考价值（4 点）
- 电商/Agent 搜索助手评估不能只看单轮引用或点击：应构建多轮仿真器，将用户 query operator 与 history-conditioned retrieval 同时纳入。早期曝光的产品或品牌可能形成会话捕获，单轮排名会错估真实长期收益。
- 可借鉴轨迹增益分解：把多轮收益拆为 direct、machine-side feedback、human-side feedback 三项，定位是检索历史偏差还是用户追问/信任带来的增量；在推荐或 Agent 场景能指导 debias、reward shaping 与流量分配。
- 用 Pólya urn / 强化过程做低成本离线消融，替代昂贵用户研究；尤其适合没有全链路线上数据时验证生成式推荐策略的累积效应。
- 关注 compounding ratio 与 capture coefficient：若某商品/内容在对话早期被引用会显著提升后续被引概率，可主动利用该机制做新品冷启动，或反向做曝光公平性控制。